linear科幻影视

Kimi又开源了！KV缓存暴砍75%，解码速度飙6倍

今天凌晨，大模型独角兽月之暗面开源混合线性注意力架构Kimi Linear，该架构首次在短上下文、长上下文、强化学习扩展机制等各种场景中超越了Transformer架构的全注意力机制（Full Attention）。

在智能体时代，推理的计算需求正成为一个核心瓶颈，尤其是在长时程和强化学习场景中。此时，标准注意力机制中存在的低效问题变得更加突出。

月之暗面刚刚推出了一个非常牛的全新的注意力架构Kimi Linear，有望成为下一代Agent LLM的基石技术。月之暗面已经放出了技术报告《KIMI LINEAR：一种高表达力且高效的注意力结构》并开源了核心代码，注意不是水论文，而是已经在内部得到严格验证

在2016年被ADI收购之前，模拟芯片厂商Linear的毛利率一度达到80%；同时我们也发现了一个有趣的发现：模拟IC企业的毛利率基本在50%左右或以上。

Dear classmates, the final exam is approaching. As an important basic subject, linear algebra has a complex and abstract knowledge

在深度学习领域中，对激活函数的探讨已成为一个独立的研究方向。例如 GELU、SELU 和 SiLU 等函数凭借其平滑梯度与卓越的收敛特性，已成为热门选择。